HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs
HarnessPro：面向性能-成本权衡的递归 Harness 自改进
🧭 Agent harness 多目标自进化 ★ 深度解读
Tsinghua University · Z.AI Co., Ltd. · Shanghai Jiao Tong University · University of Warwick · Kuaishou Technology
多智能体递归改进 agent harness，用 Pareto 选择产出 lite/medium/heavy 三档，同时提升 pass rate 并降低执行成本
📌 工作参考价值（4 点）
- 用固定 LLM 生成测试替代 LLM judge 评估候选轨迹：在无 ground-truth 的 agent 优化中，失败召回从 41.7% 提升到 83.3%。做电商导购/客服 agent 的 harness 或 prompt 迭代时，先基于任务描述和初始轨迹生成回归测试，后续所有候选用同一套测试，避免 LLM 判断过度乐观。
- 产出 Pareto 前沿而非单一最优：用 normalized weighted squared-distance 按 (1,2)/(1,1)/(2,1) 选 lite/medium/heavy 三档，分别对应严格成本、均衡、性能优先部署。线上可按预算分流：大促期切 lite，日常用 medium，高价值场景用 heavy。
- 动态 routing + budget hooks 是降本关键：从任务描述选择 reasoning effort 和 tool call 预算，达到阈值后通过 hook 提醒收敛或阻断额外调用；比全局降低 reasoning effort 更能保住 pass rate，适合在推荐/搜索 agent 中按 query 难度分档执行。
- 压缩工具输出和精简 system prompt，保留 prefix 缓存：用类似 RTK 的日志折叠/长输出压缩减少重复上下文 token，是低成本但有效的工程优化。